scrapy中ROBOTSTXT_OBEY = True的相关说明

　　在scrapy中创建项目以后，在settings文件中有这样的一条默认开启的语句： 　　 　　观察代码可以发现，默认为True，就是要遵守robots.txt 的规则，那么 ...